Chu Ôn quay sang lập một băng đảng, trở thành một trong các nhóm đạo tặc hoạt động tại khu vực nằm giữa Hoàng Hà và Hoài Hà.[9] Vào khoảng năm 877, Chu Ôn và trọng huynh Chu Tồn (朱存) cùng gia nhập vào đội quân nổi dậy của Hoàng Sào khi họ đi qua khu vực. Chu Tồn sau đó bị giết trong lúc lâm trận, còn Chu Ôn lập công nên trở thành một đội trưởng, lãnh binh đóng ở Đông Vị Kiều[chú 2] khi quân Hoàng Sào công chiếm kinh sư Trường An vào tháng 1 năm 881.[3][5]

Sau khi Hoàng Sào tuyên bố lập quốc Đại Tề, Chu Ôn đem binh sĩ công chiếm Đồng châu[chú 3], được Hoàng Sào bổ nhiệm là phòng ngự sứ của châu này.[8] Sau đó, Chu Ôn tự đem quân tiến đánh Đan châu ở phía nam.[3]